Modele liniowe

Na początek ustawimy globalnie opcję set_output ze Scikit-learn'a (dokumentacja). Dzięki temu transformowane dane będą zawsze na wyjściu typu pd.DataFrame, zamiast np.ndarray, i zachowają odpowiednie nazwy cech.

Wykorzystamy zbiór danych Ames housing, w którym zadaniem jest przewidywanie wartości domu na podstawie cech budynku, działki, lokalizacji itp. Jest to więc przewidywanie wartości ciągłej, czyli regresja. Obejmuje zmienne do usunięcia (np. ID transakcji), numeryczne (floaty i inty), kategoryczne nieuporządkowane (categorical nominal) oraz kategoryczne uporządkowane (categorical ordinal), więc będzie wymagał wstępnego przetworzenia tak jak większość prawdziwych danych w ML.

Inne znane, ale gorsze jakościowo zbiory tego typu to na przykład:

• Boston housing - rasistowski, z tego powodu usunięty np. ze Scikit-learn (wyjaśnienie, dyskusja, badanie)
• California housing - zbyt prosty (tylko kilka zmiennych numerycznych), użyty np. w książce "Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow" A. Geron (opis)

Autor zbioru to Dean De Cock, a zbiór został opisany oryginalnie w tym artykule. Szczegółowe opisy zmiennych znajdują się w pliku ames_description.txt.

Formatem pliku jest Apache Parquet, bardzo wydajny format binarny. Ma on szereg zalet w ML i inżynierii danych porównaniu do plików CSV:

• zapisuje informacje o typie kolumn
• jednoznaczna specyfikacja (np. brak problemów z typem separatora, jak w CSV)
• kompresja liczb, napisów etc. w oparciu o ich typ
• znacznie mniejszy rozmiar plików, zwykle kilka razy
• dużo większa szybkość zapisu i odczytu

Dla zainteresowanych szczegółami: link 1, link 2, link 3. Ten format ma szerokie wsparcie, w tym w Pandasie. W przypadku tego zbioru, CSV zajmuje ~1.2 MB, a Parquet ~0.2 MB.

Wstępne czyszczenie danych (data cleaning) obejmuje:

• usunięcie kolumn Order oraz PID
• usunięcie obserwacji odstających (outliers), które mają powyżej 4000 stóp kwadratowych (ok. 370 metrów kwadratowych) powierzchni
• usunięcie wpisów z dzielnic GrnHill oraz Landmrk, które obejmują w sumie zaledwie 3 domy
• transformacja logarytmiczna zmiennej zależnej (ceny domu)

To drugie jest motywowane wykresem przedstawionym poniżej. Zostało uznane za błąd już przez samego autora.

Zawsze warto też przyjrzeć się rozkładowi zmiennej docelowej, żeby poznać jego typ i skalę. Jak widać poniżej, rozkład jest dość skośny, co ma sens - mało jest bardzo drogich domów. Można to zatem uznać za problem regresji niezbalansowanej (imbalanced regression), w którym rozkład zmiennej docelowej nie jest normalny.

Załóżmy, że typowego klienta nie interesują bardzo drogie domy. Cały ciężki ogon rozkładu można zatem uznać zasadniczo za outliery - im większa wartość, tym mniej interesuje przeciętną osobę. Warto też pamiętać, że realny "przeciętny" dochód to mediana, a nie średnia zarobków, co odpowiednio przekłada się na zainteresowanie domami.

W tym przypadku warto przetransformować tę zmienną logarytmem bliżej rozkładu normalnego z dwóch powodów.

Po pierwsze, stabilność numeryczna - wartości są bardzo duże, rzędu setek tysięcy, i przy obliczaniu odchylenia standardowego czy wariancji to byłby problem. Logarytm to przykład transformacji stabilizującej wariancję (variance-stabilizing transform).

Ponadto regresja liniowa (pierwszy model liniowy, który będziemy rozważać) czyni szereg założeń w modelowaniu, co wynika z jej podstaw statystycznych. Są to między innymi:

1. Normalność błędów (residuals normality) - błędy modelu, czyli y − ŷ, mają rozkład normalny
2. Homoskedastyczność (homoscedasticity) - błędy mają stałą wariancję, czyli nie zależą od wielkości zmiennej zależnej

W naszym przypadku oznacza to, że podobnie często nie doceniamy albo przeceniamy wartość domu, oraz dla tanich i drogich domów mamy podobny błąd. Przy rozkładzie zmiennej zależnej bardzo różnym od normalnego te założenia są typowo łamane, co skutkuje gorszą jakością predykcji modelu. Dlatego transformacji warto też dokonać dla lepszej jakości modelu.

Skąd wiemy, że logarytm? Bo rozkłady o dodaniej skośności (positively skewed) przesuwa się "w prawo" właśnie logarytmem, a w drugą stronę eksponentą. Dla zainteresowanych: link 1, link 2. Są też algorytmy, które potrafią same estymować potrzebną transformację, np. Box-Cox transform albo Yeo-Johnson transform. Podobne transformacje można też oczywiście wykonywać nie tylko dla zmiennej zależnej, ale też (a nawet jest to częstsze) dla cech.

Zadanie 1 (1 punkt)

1. Narysuj wykres cen - histogram kolumny "SalePrice". Pamiętaj o podaniu tytułu i dodaniu legendy.
2. Oblicz średnią i medianę cen, a następnie nanieś je na wykres jako pionowe, przerywane linie. Może się przydać ten przykład. Wypisz te wartości, lub zawrzyj je w opisie w legendzie, zaokrąglone do liczb całkowitych.
3. Zlogarytmuj ceny z pomocą np.log1p (zamień istniejące wartości).
4. Narysuj wykres po zlogarytmowaniu, razem z liniami dla średniej i mediany.

Może ci się przydać metoda .plot.hist() dla pd.Series. Zwraca ona normalny wykres Matplotliba, do którego można potem dodawać kolejne elementy.

W zbiorze znajdują się liczne wartości brakujące, które zostały uzupełnione na podstawie tego notebooka na Kaggle.

W dalszej kolejności zamienimy zmienne MSSubClass i MoSold z numerycznych na kategoryczne, zgodnie z ich znaczeniem. Zakodujemy także zmienne kategoryczne uporządkowane (categorical ordinal) z tekstowych na kolejne liczby całkowite.

W Pandasie zmienne kategoryczne, napisy itp. są typu object, natomiast numeryczne mają typy z Numpy'a, np. int64. Oczywiście oba rodzaje zmiennych trzeba przetwarzać na inne sposoby, więc zapiszemy to od razu. Wyodrębnimy też wektor docelowy.

Od razu dokonamy też podziału na zbiór treningowy i testowy. Jako że nasz zbiór jest dość mały, to podział będzie 70%-30%.

Modele liniowe działają najlepiej, kiedy nasze cechy są odpowiednio przetworzone:

• nie może być wartości brakujących
• wszystkie zmienne mają podobny zakres wartości
• nie ma mocno skorelowanych ze sobą cech
• zmienne kategoryczne muszą być zakodowane, przy czym dobrze jest, kiedy cech nie jest zbyt dużo

Na start imputujemy wartości brakujące w zmiennych numerycznych i przeskalujemy je do zakresu [0,1]. Potem dokonamy analizy, czy mamy mocno skorelowane zmienne.

Przy przetwarzaniu danych krok po kroku lepiej robić nowe zmienne, żeby dało się odpalić znowu komórkę notebooka. Przy reużywaniu zmiennych mogłaby nastąpić konieczność uruchomienia wszystkiego od początku. Może ci się to przydać w zadaniach.

Pamiętaj, żeby we wszystkich kolejnych zadaniach zastosować taką samą transformację na zbiorze treningowym i testowym. Wszelkie wartości estymujemy na zbiorze treningowym.

Zadanie 2 (0.5 punktu)

Wybierz same zmienne numeryczne. Dokonaj imputacji wartości brakujących medianą, oraz przeskaluj wartości do zakresu [0,1]. Przydatne klasy: ColumnTransformer, Pipeline, SimpleImputer, MinMaxScaler.

Domyślnie ColumnTransformer dopisuje do nazw cech wyjściowych nazwę transformera jako prefix. Bywa to dość nieczytelne i problematyczne w dalszym przetwarzaniu danych. Żeby to wyłączyć, przekaż opcję verbose_feature_names_out=False.

Sprawdźmy teraz, czy mamy mocno skorelowane zmienne. Typowo przyjmuje się wartość bezwzględną korelacji powyżej progu 0.8/0.9/0.95. Pierwszą weryfikację można zrobić "na oko" na podstawie wykresu typu heatmap. Przekątną oczywiście ignorujemy - każda cecha ma korelację 1.0 z samą sobą.

Jeżeli zauważymy grupy skorelowanych cech, to z każdej grupy trzeba zostawić jedną cechę. Biblioteka Feature-engine, komplatybilna ze Scikie-learn, oferuje tutaj wygodną klasę SmartCorrelatedSelection, która pozwala z każdej grupy cech zostawić tę o największej wariancji.

Czemu o największej wariancji? Bo taka cecha jest mocno zmienna, a więc niesie jakąś informację. Cechy o bardzo niskiej wariancji praktycznie się nie zmieniają, więc prawdopodobnie nie są zbyt informatywne.

Zadanie 3 (0.5 punktu)

Oblicz korelacje między cechami w zbiorze treningowym, oraz narysuj heatmapę korelacji. Pandas potrafi obliczyć korelacje, a Seaborn - narysować wygodnie heatmapę.

Następnie wykorzystaj Feature-engine do eliminacji mocno skorelowanych cech, z progiem 0.8 (mamy sporo cech, więc eliminujmy, czemu nie), pozostawiając cechy o największej wariancji. Wypisz nazwy wyeliminowanych cech.

Przejdźmy teraz do zmiennych kategorycznych. Jeżeli pewne kategorie występują bardzo rzadko, to prawdopodobnie nie ma sensu ich rozróżniać, i można by je połączyć w jedną, np. "Other" albo "Rare". Eliminacja rzadkich kategorii bardzo zmniejszy wymiarowość po one-hot encodingu, redukując złożoność obliczeniową i pamięciową. Często robi się to nawet głównie z tego powodu, nawet jeżeli lekko pogorszy to wyniki (aczkolwiek często daje nieco lepsze).

Po tym kroku możemy już wykonać one-hot encoding i uzyskać nasze zmienne kategoryczne.

Zadanie 4 (0.5 punktu)

Stwórz ColumnTransformer, wykonujący w pipeline'ie dla zmiennych kategorycznych (analogicznie jak w zadaniu 1 dla zmiennych numerycznych):

• łączenie rzadkich kategorii (występujących w mniej niż 1% wierszy) w kategorię "Rare"
• one-hot encoding

Dla uniknięcia dummy variable trap, oraz zmniejszenia liczby wynikowych cech, podaj drop="first" w one-hot encodingu.

Przyda się RareLabelEncoder z Feature-engine. Żeby zadziałał dla każdej cechy, podaj mu n_categories=0.

Teraz nasze cechy są w pełni przeprocesowane i gotowe do obliczeń. Trzeba je tylko połączyć - zmodyfikuj kod poniżej w zależności od nazw twoich zmiennych.

Naszym baseline'owym modelem liniowym, do którego będziemy odnosić bardziej złożone modele, będzie zwykła regresja liniowa (linear regression)

Naszymi metrykami będą zarówno pierwiastek błędu średniokwadratowego (root mean squared error, RMSE), jak i średni błąd bezwzględny (mean absolute error). Oba są w tej samej jednostce, co oryginalna zmienna zależna, ale skupiają się na innych rzeczach:

• RMSE bardziej uwzględni predykcje w ogonie, czyli drogie domy
• MAE bardziej skupi się na przeciętnym przypadku, czyli cenach bliżej mediany

W praktyce często interesuje nas kilka metryk, a mamy dużo modeli do sprawdzanie. Żeby nie kopiować kodu, warto zrobić funkcję, obliczającą i wypisującą metryki dla danego problemu. Dodatkowo tutaj musimy odwrócić logarytm, który zastosowaliśmy na początku, i takie odwrotne przekształcenia też dobrze jest zawrzeć w takiej funkcji.

Jesteśmy teraz gotowi na trening naszych modeli. Na start wytrenujmy zwykłą regresję liniową.

Całkiem nieźle. Dla porównania, bez usuwania skorelowanych cech i grupowania rzadkich cech, RMSE na zbiorze testowym to ponad 21 tysięcy, a model wyraźnie przeucza. Warto wykonywać odpowiedni preprocessing danych!

Mamy tu wyraźną różnicę między RMSE i MAE. Można się temu przyjrzeć i przeanalizować rozkład rezyduów (residuals), czyli błędów y − ŷ.

Zadanie 5 (0.5 punktu)

Narysuj rozkład błędów popełnianych przez model regresji liniowej. Pamiętaj o odwróceniu logarytmu eksponentą (np.expm1). Dobierz liczbę binów histogramu tak, żeby wykres był odpowiednio czytelny. Zaznacz liniami pionowymi średnią oraz medianę. Pamiętaj o opisaniu osi Y, legendzie i tytule.

Skomentuj rozkład. Jest symetryczny? Może częściej nie doceniamy wartości domu, albo ją przeceniamy, albo może są tu jakiejś pojedyncze outliery? Czy na podstawie tych rezyduów można wytłumaczyć różnicę między MAE i RMSE?

Rozkład błędów popełnianych przez model regresji liniowej wydaje się w miarę symetryczny. Istnieją pojedyncze outliery, które wpływają na zaburzenie symetrii rozkładu.

Różnica między MAE, a RMSE wynika z tego, jak każda z tych metryk traktuje błędy. W przypadku RMSE powodują one większe zaburzenie wyniku.

Mamy pewien overfitting - co prawda niewielki, ale zawsze jest coś do wyeliminowania. Dodatkowo mamy aż 175 cech - jeżeli niektóre z nich mają bardzo niską moc predykcyjną, to redukcja ich wag (lub ich usunięcie) może poprawić nawet i wynik treningowy, i testowy, bo zredukuje szum.

Warto każdy model zapisywać w zmiennej o innej nazwie, żeby później móc dokonać ich porównania. Przykładowo, reg_linear czy reg_ridge jest lepszym pomysłem niż samo reg.

Typowo siłę regularyzacji wybiera się tak, że najpierw szacujemy rząd wielkości, sprawdzając np. siatkę [1e-3, 1e-2, 1e-1, 1, 1e1, 1e2, 1e3], a później zagęszczając ją w okolicy znalezionej optymalnej wartości. Można to oczywiście robić w kilku krokach.

Zadanie 6 (1 punkt)

Wytrenuj modele z regularyzacją L2 (ridge) oraz L1 (LASSO). Dobierz siłę regularyzacji, najpierw estymując rząd wielkości, a potem zagęszczając siatkę. Dla regresji ridge wybieraj model o optymalnym MAE (argument scoring). Zmierz czas tuningu podczas drugiego kroku, po zagęszczeniu siatki.

Wypisz optymalne hiperparametry dla obu modeli, oraz ich metryki jakości.

Przydadzą się np.linspace(), RidgeCV oraz LassoCV.

Dużą zaletą modeli liniowych jest możliwość analizy ważności cech oraz ich kierunku wpływu. W przypadku regresji z regularyzacją jest to szczególnie ciekawe.

Jeżeli cecha "przetrwa" z dużą wagą w ridge regression, to znaczy, że musi być naprawdę ważna, bo inaczej opłacałoby się zmniejszyć jej wagę, żeby zmniejszyć koszt z regularyzacji. Z drugiej strony, w regresji LASSO jeżeli cecha została wyeliminowana, to musiała mieć na tyle małą moc predykcyjną, że modelowi bardziej opłacało się ją usunąć i zmniejszyć koszt z regularyzacji.

Zadanie 7 (0.5 punktu)

W tym zadaniu skorzystaj z optymalnych modeli, wyznaczonych w poprzednim zadaniu.

1. Wybierz 20 najważniejszych cech według ridge regression (w sensie wartości bezwzględnej ich wag). Przedstaw je na poziomym wykresie słupkowym (horizontal bar plot), posortowane według wartości bezwzględnej. Na wykresie mają być wartości wag z wpływem (dodatni/ujemny). Pamiętaj o opisaniu osi nazwami cech i tytule wykresu.
2. Wypisz nazwy cech wyeliminowanych przez LASSO regression, posortowane alfabetycznie. Zakładamy, że cecha jest wyeliminowana, jeżeli dla np.isclose() jej waga jest bliska zeru.

Mogą się przydać atrybuty modelu .coef_ oraz .feature_names_in_. Wszystkie operacje można łatwo wykonać, konwertując dane na pd.Series.

Powyższe algorytmy nie brały pod uwagę skośnego rozkładu zmiennej zależnej, oraz realnego zapotrzebowania na medianę ceny domu. Wypróbujmy zatem algorytmy, które powinny być bardziej odporne na outliery.

Na start wypróbujemy Least Absolute Deviations (LAD) regression. Jako że jest to przypadek szczególny regresji kwantylowej, to w Scikit-learn używa się do tego klasy QuantileRegressor z podaniem odpowiedniego kwantyla.

Błąd jest wręcz tragiczny! W takich przypadkach zawsze na start trzeba się przyjrzeć predykcjom.

Predykcje stałe - nic dziwnego, że błąd jest duży. Scikit-learn domyślnie stosuje lekką regularyzację dla wielu modeli, ale wartość ta może być zbyt duża.

Zadanie 8 (1 punkt)

Dokonaj tuningu siły regularyzacji dla LAD regression, sprawdzając 100 wartości z zakresu od 0 do 1e-3. Wybierz model o najlepszym MAE z pomocą 5-fold CV. Zmierz czas tuningu, wypisz znalezione hiperparametry oraz sprawdź jakość finalnego modelu.

Skomentuj różnicę czasową i jakościową względem modeli ridge i LASSO. Czy w tym przypadku warto wykorzystać regresję LAD?

Przyda się GridSearchCV oraz parametr n_jobs.

Wyniki LAD Regression są zbliżone do Ridge i LASSO, natomiast czas wykonania dużo dłuższy z powodu konieczności obliczenia układów równań programowaniem liniowym. Zatem w tym przypadku nie warto korzystać z LAD Regression.

Zamiast używać regresji LAD, opartej o programowanie liniowe, można też wykorzystać Huber regression. Jest ono mało czuła zarówno na ϵ (punkt przejścia z MSE do MAE), jak i α (siłę regularyzacji L2), więc często nie wymaga tuningu hiperparametrów.

Zadanie 9 (0.5 punktu)

Wytrenuj model Huber regression. Sprawdź jakość modelu. Skomentuj różnicę czasową i jakościową względem LAD regression (tutaj oczywiście bez tuningu). Z którego modelu skorzystałbyś w praktyce?

Domyślna liczba iteracji solwera, 100, jest zbyt mała dla naszej liczby cech, i będą z tego wynikać ostrzeżenia o braku zbieżności, więc zwiększ ją do 2000.

Huber Regression daje porównywalne wyniki (może nawet trochę lepsze), co Ridge i LASSO w stosunkowo podobnym czasie. Na plus dodatkowo jest to, że nie zwraca tak uwagi na outliery.

Na rynku działa firma oferująca serwis do sprzedaży nieruchomości. CEO był na prezentacji o AI, zaczął używać ChatGPT i uznał, że też musicie mieć taki potężny ML. Zostałeś zatrudniony jako (pierwszy i jedyny) data scientist, zebrałeś historyczne dane, i nawet wdrożyłeś pierwszy model regresji liniowej do estymacji wartości nieruchomości.

Pewnego dnia Product Owner przychodzi do ciebie z listą "absolutnie krytycznych" wymagań (propozycja nie do odrzucenia):

1. Ciągle coś się sypie na produkcji, bo obecny pipeline do przetwarzania cech jest złożony z wielu kroków, które są copy-paste z twojego Jupyter Notebooka. Trzeba z tego zrobić jeden obiekt, zapisywać i wdrażać end-to-end.
2. Nowe domy czasem mają ekstremalne wartości cech, których nie było w zbiorze treningowym, i na tych przypadkach model radzi sobie wystarczająco słabo. Może wystarczyłoby je jakoś przyciąć?
3. Obecny model regresji liniowej działa w miarę ok, ale trzeba czegoś lepszego, co dawałoby lepsze MAE, bo większość klientów jest zainteresowana przeciętnie drogimi nieruchomościami.
4. Sama przewidywana wartość nieruchomości to za mało, bo każdy wie, że ceny są zróżnicowane. Twoja regresja liniowa podaje tylko warunkową średnią, a zarówno sprzedający, jak i kupujący chcieliby znać sensowne górne i dolne widełki. Product Owner ze swojego doświadczenia sugeruje, że typowo takie wahania różnią się co najwyżej o 15 punktów procentowych w górę i dół od średniej ceny.

Zadanie 9 (4 punkty)

1. Połącz wszystkie wcześniejsze transformery dla zmiennych numerycznych i kategorycznych w jeden duży ColumnTransformer. Ma do niego wejść cale X_train_raw, a wyjść gotowy output.
2. Przycinanie wartości do zakresu znanego ze zbioru treningowego nazywa się czasem winsoryzacją (winsorization). Dodaj taki etap po skalowaniu min-max, a przed selekcją według korelacji. Przydatny będzie tutaj Feature-engine.
3. Na podstawie wcześniejszych eksperymentów wybierz model do przewidywania własności domów. Wybór uzasadnij w komentarzu. W razie potrzeby dokonaj tuningu hiperparametrów. Zmierz jakość modelu.
4. Wybierz i wytrenuj odpowiednie modele do regresji, żeby dostać estymację 35% i 65% ceny, w dodatku do przeciętnej ceny (estymowanej przez model z poprzedniego punktu). Dokonaj w razie potrzeby tuningu hiperparametrów. Metryką jakości może być tutaj D^2 pinball score, który ma wygodny zakres wartości [0,1] (dla dobrych modeli, im bliżej 1, tym lepiej). Podaj jakość finalnych modeli.
5. Zapisz transformer do preprocessingu oraz estymatory do regresji do plików z pomocą Jobliba: ames_transformer.joblib, price_estimator.joblib, low_price_estimator.joblib, high_price_estimator.joblib.

Poniżej przygotowano funkcję testową, która ładuje transformer i estymatory, oraz oblicza predykcje dla trzech przykładowych domów ze zbioru testowego (taniego, przeciętnego i drogiego).

Skomentuj - czy twoim zdaniem finalne modele, podające przeciętną wartość i widełki, są subiektywnie dobrej jakości?

Wybrałem Huber Regression, ponieważ nie zwraca zbyt dużej uwagi na outliery, a modele czasami niedoceniają drogich domów lub przeceniają tanie.

Product Owner przychodzi do ciebie ponownie. Klienci skarżą się, że nie rozumieją, czemu model przewiduje taką, a nie inną wartość dla ich domu. Przykładowo, jeżeli to ogólny stan domu (OverallCond) czy garażu (GarageCond) obniżają cenę, to byliby gotowi je wyremontować dla lepszego zysku.

Jest to problem wyjaśnialnego AI (Explainable AI, XAI). O ile cały model w przypadku regresji liniowej jest bardzo transparentny dzięki wagom cech i liniowym predykcjom, to już zrozumienie, czemu dana predykcja była taka, a nie inna, to już problem lokalnej wyjaśnialności (local explainability), gdzie tłumaczymy pojedynczą predykcję, dla danego zestawu cech.

Najpopularniejszym algorytmem jest tutaj SHapley Additive Explanations (SHAP). Opiera się on o tzw. wartości Shapleya, mające bardzo solidne podstawy w kooperatywnej teorii gier. Opiera się na idei, że wartości cech grają w grę: jedne obniżają predykcję, a drugie podwyższają, a finalna predykcja modelu to ich konsekwencja. Każda cecha to gracz, ale jedna wnosi więcej, a inna mniej. Idea algorytmu SHAP to uznanie, że "wartościowi gracze" to wpływowe cechy, które mocno przyczyniły się do danej decyzji modelu.

Obliczanie wartości Shapleya w ogólnym przypadku ma złożoność eksponencjalną. Algorytm SHAP zaproponował efektywne ich przybliżanie dla dowolnych algorytmów ML. Dla niektórych klas modeli, przede wszystkim liniowych oraz drzewiastych, istnieją szczególnie efektywne metody, które w czasie wielomianowym obliczają dokładne wartości Shapleya. Wyjaśnienia, jak działa SHAP: link 1, link 2, link 3.

Z pomocą biblioteki shap oblicz wartości Shapleya dla przykładowych domów z ostatniego zadania i wyświetl je na tzw. force plot. Przyda ci się tutaj LinearExplainer (dokumentacja) oraz plots.force() (dokumentacja).

Porównaj ze sobą dwie metody estymacji: "interventional" oraz "correlation_dependent" (opisane w dokumentacji). Możesz je zaimplementować za pomocą maskers.Independent oraz maskers.Impute. Jako zbiór do porównania (tzw. background samples) użyj całego zbioru treningowego.

Skomentuj, czy wyjaśnienia mają twoim zdaniem sens i czy są intuicyjne. Która metoda estymacji daje subiektywnie lepsze wyniki?

Wyjaśnienia wydają się być dość intuicyjne. Metoda Correlation Dependent wydaje się być lepsza w tym przypadku, ponieważ zakłada korelację cech i uwzględnia w obliczeniach. Metoda Interventional zakłada ortogonalność cech przez co może przekłamywać wyniki.